长程 LLM Agent 的多尺度策略优化
🧭 Agent RL · 多尺度信用分配与策略更新 ★ 深度解读
Peking University · IQuest Research · Tsinghua University · Renmin University of China · The University of Hong Kong
提出 MPO，组合 turn 级 GAE 与均值保持的 token 级信用分配，并用 turn 级重要性采样更新策略，在搜索/工具/自动化任务上全面超越 PPO/VAPO/SAO
📌 工作参考价值（4 点）
- 在对话式电商/购物 Agent 的多轮 RL 中，把一次完整的 assistant turn（搜索词、工具调用、加购决策、最终回复）作为宏动作，用 turn 级 GAE 传播终局奖励（下单、成交、任务完成），而不是直接在 token 序列上做 GAE。论文统计显示 turn 间方差占 critic 价值方差的 89.5%，说明 reward 信用主要在轮次尺度，token 级只需做均值保持的局部修正。
- 策略更新时使用 complete-turn importance ratio，并对其他 token 的 ratio 做 stop-gradient，只让当前 token 的 score gradient 保留 token-specific advantage。这个实现可以方便地接入现有 PPO/VAPO 训练框架，避免 token 级 ratio 带来的 within-turn distribution shift，适合 LLM 生成内容较长、但交互边界更重要的电商 Agent 场景。
- 超参上把跨轮衰减 λ 和轮内衰减 λ_intra 分开调，推荐 λ≈0.8、λ_intra≈0.95、β≈1.0。原因是一个 turn 包含大量 token，两者的时间尺度不同；业务里如果直接用相同衰减，要么跨轮信用太短，要么轮内 token 信号稀释。
- 该方法只增加一个 critic 和一个均值约束投影，计算开销低；若你的搜索/推荐 agent 已有 PPO 类训练栈，可以先替换 advantage 计算与 ratio 构造，不必重构环境或 reward。
ARC：开放世界真实交互中的公平相对优势比较
🧭 Agent RL 策略条件化优势估计 ★ 深度解读
Ant International
提出策略条件化 rollout 分组的 ARC 方法，消除跨策略奖励偏差，提升 agent 工具调用 RL 训练的公平性与稳定性。
📌 工作参考价值（4 点）
- 在对话式推荐/导购 Agent 中，如果存在“直接推商品”、“先反问偏好”、“确认订单/退款”等多种有效响应，可沿用 ARC 思路：训练时给每个 prompt 注入策略指令，按策略分组计算 GRPO/PPO 优势，避免奖励模型偏好某类话术；推理时去掉指令让模型自主选择。这比单纯加 KL 或 reward shaping 更直接解决跨风格奖励偏差。
- INTER3 的通道分离值得迁移到电商客服/导购场景：用户可见的 <answer> 流式输出与内部工具调用解耦，可以在查询库存/优惠/风控时立即给用户进度反馈，显著降低首 token 延迟（4.91s→1.27s）并支持用户打断；实现只需新增 <answer> 特殊 token 和后处理抽取。
- 多通道生成（推理 + 工具 + 用户文本）训练时建议加熵正则，否则易出现模型反复输出无意义 <answer> 块导致的 entropy collapse；混合奖励可结合工具执行结果与交互格式分项打分。
- 课程式减弱或推理时注入策略指令在 agentic 场景不可靠：策略提示应作为训练期方差控制变量保留，推理时不要依赖；这提示业务中不要试图用推断时 prompt 策略控制模型行为，而应在训练期把策略差异纳入比较结构。
BiPACE：基于双模拟引导与动作反事实估计的LLM智能体策略优化
🧭 LLM Agent 训练 · 分组策略优化
University of Chicago · Stanford University · The Hong Kong University of Science and Technology (Guangzhou) · University of Science and Technology of China · Meituan
用双模拟聚类和动作反事实基线修复步进分组RL的状态-动作信用失配，将ALFWorld验证成功率从90.8%提升至97.1%
📌 工作参考价值（4 点）
- 在训练对话式推荐、搜索 Agent 等多步决策模型时，可借鉴 BiGPO：使用 Actor 自身隐藏状态的余弦距离在线聚类，替代观测哈希，作为状态近似双模拟关系，大幅减少孤立组，增强组内信号，适用于并行采样多条轨迹的在线训练。
- PACE 的动作反事实基线：在行为簇内用动作条件化的均值作为基线计算 Q(s,a)-V(s) 风格的优势，避免将状态价值误归因给动作，适用于推荐 Agent 中相似状态下不同动作（如提问、推品）的精确信用分配。
- 方法无额外 Critic 网络，只需存储 rollout 中的隐藏状态和分组信息，额外开销仅 11.3% 训练步长，工程实现轻量，可直接替换现有 stepwise GRPO/GiGPO 的优势估计器，提升长程任务成功率。
- 限制：依赖多条并行轨迹构建分组，若系统仅支持单轨迹在线学习，需做适配；但批量离线训练或仿真交互场景可直接受益。
BASIS：单Rollout批内共享信息实现低方差优势估计的LLM推理后训练
🧭 RLVR · 批内优势估计削减方差 ★ 深度解读
University of Science and Technology of China · London School of Economics and Political Science · University of Oxford
利用跨提示的批内奖励加权平均，仅需单次采样即可获得比GRPO8次采样更准的价值估计，训练时间减半且性能接近多轮次基线。
📌 工作参考价值（4 点）
- 批内信息共享替代多采样：在电商推荐或Agent强化学习中，若每个请求只产生一条轨迹（如一次推荐列表），可以利用同一批次内其他请求的奖励，通过加权平均估计当前请求的基线价值，相当于用“横向”信息替代“纵向”重复采样，降低方差而不增加采样成本。
- 离线价值表+在线校准套路：先利用参考模型（例如上线前的模型）对每个提示采样少量结果，构建离线初始价值估计（如KL‑正则化最优价值），训练时再通过最小化误差在线选择一个温度参数β来校准，这种“离线预热+在线自适应”的模式可迁移至需要稳定价值估计的场景，比如生成式推荐的RL微调。
- 自适应权重避免极端噪声：当某些提示的预估价值接近0或1时，贝努利方差趋于0会导致权重爆炸，本文引入“活跃集”与回退到零基线的做法，可借鉴到其他基于二进制奖励（如点击/不点击）的批内加权方案中，防止数值不稳定。
- 防止策略坍塌的简单手段：实验表明，更准确的优势估计能避免单轨迹REINFORCE类算法在训练中后期性能急剧下降的问题，对于希望用单轨迹RL高效微调推荐策略的实践者，引入批内信息共享可能是一种低开销的防坍塌方案。
ProRL：矫正策略梯度的主动推荐强化学习
🧭 主动推荐 · 强化学习策略梯度矫正 ★ 深度解读
Fudan University
识别并解决主动推荐中策略梯度的长度捷径与高方差问题，提出步级奖励中心化和位置特定优势估计
📌 工作参考价值（4 点）
- 在序列决策任务中若步级奖励存在正均值，会诱导策略偏向延长序列。可直接套用“步级奖励中心化”：用在线统计估计全局步级奖励均值，每一步奖励减去该均值，使路径延长零期望增益，消除长度捷径。
- 利用奖励分解为步级增量这一结构，无需额外 critic 模型即可计算位置特定优势：取同输入多个 rollouts 的 reward-to-go，在每个位置做组内平均作为基线，构造低方差优势估计。该 trick 可直接用于对话推荐、路径规划等 RL 训练，训练稳定且无额外网络。
- 多目标 RL 中，不同奖励成分的尺度差异大，采用“中心化 + 标准差缩放”的归一化策略，平衡各目标梯度量级，可借鉴到电商推荐中同时优化点击、转化、引导效果等复合指标。
- 整个框架基于轻量 Transformer + 语义 ID 实现，部署成本低，适合工业界在类主动推荐（如新品引导、兴趣探索）场景中替代 LLM 规划，兼顾效果与在线效率。